MaaPipelineEditor

主题

kqcoxn
2535
9.3m

AI 服务 ​

概述 ​

AI 服务为 MaaPipelineEditor 提供智能节点配置预测功能。通过结合 OCR 识别结果、节点上下文和流程分析，AI 可以自动推断节点的识别和动作配置，大幅提升配置效率。

功能特性 ​

智能节点预测 ​

  • 自动截图识别：自动获取当前设备画面并进行 OCR 识别
  • 上下文分析：分析前置节点的连接关系、识别类型和动作类型
  • 配置推断：基于节点名称、OCR 结果和上下文，智能推断最合适的识别和动作配置
  • 字段验证：自动校验 AI 生成的配置，过滤无效的类型和字段组合

实时进度反馈 ​

在 AI 预测过程中，会显示详细的进度阶段，MPE 采用如下工作流实现 AI 节点生成功能：

收集上下文 → 截图 → 识别 → 构建提示词 → AI 生成 → 解析结果 → 应用配置

历史记录追溯 ​

所有 AI 对话都会保存到历史记录面板，包括：

  • 用户提示词（简化显示）
  • 实际发送的完整消息
  • AI 响应内容
  • 推理依据说明
  • Token 用量统计：显示输入/输出 tokens 数量，支持查看估算值标识
  • 图片缩略图预览：点击可查看完整设备截图
  • 提示词详情：可展开查看实际发送给 AI 的完整提示词
  • 回复折叠展示：默认显示 300 字符，支持展开/收起完整回复

AI 流程探索模式 ​

AI 流程探索模式提供了一种引导式的智能工作流构建方式，特别适合寻路等流程类任务。

核心特性 ​

  • 目标驱动：输入任务目标描述，AI 自动推断执行步骤
  • 引导式操作：每步预测 → 审核 → 确认，用户完全掌控流程
  • 实时预览：Ghost 节点预览 AI 推荐的节点配置
  • 智能命名：AI 自动为节点生成有意义的名称
  • 状态追踪：清晰的状态流转（未开始 → 预测中 → 待审核 → 执行中 → 已完成）
  • 灵活控制：支持执行动作、重新生成、确认方案、跳过步骤等操作

使用流程 ​

  1. 点击画布右下角的 机器人图标 🤖 打开流程探索面板
  2. 输入任务目标描述（如："从主界面导航到设置页面"）
  3. 可选：选择起始节点（默认为新节点）
  4. 点击 开始探索
  5. AI 预测下一步节点配置，显示为 Ghost 节点
  6. 在 Ghost 节点旁审核预测结果：
    • 执行动作：在设备上执行该节点的动作
    • 重新生成：让 AI 重新预测
    • 确认：接受该节点并进入下一步预测
  7. 重复步骤 5-6，直到完成整个流程
  8. 点击 完成探索 保存所有已确认的节点

前置条件 ​

✅ 已连接到本地服务（LocalBridge）
✅ 已连接到设备（ADB 或 Win32 控制器）
✅ 已配置 AI API（URL、Key、Model）

提示

与普通的单节点 AI 预测不同，流程探索模式专注于 多步骤流程的引导式构建，AI 会根据目标描述和当前上下文持续预测下一步，直到您认为流程已完成。

配置步骤 ​

1. 打开配置面板 ​

点击顶部工具栏的齿轮图标 ⚙️，打开配置面板，滚动到 AI 配置 部分。

2. 选择 API 提供商 ​

MPE 内置了对主流 AI 服务商的适配，选择提供商后会自动填充对应的 API 地址格式：

提供商API 地址推荐模型
自定义（OpenAI 兼容）自行填写deepseek-v4-pro、qwen3.6-plus 等
OpenAIhttps://api.openai.comgpt-5.5、gpt-4o
Anthropic (Claude)https://api.anthropic.comclaude-sonnet-4-6、claude-haiku-4
Gemini (Google)https://generativelanguage.googleapis.comgemini-2.5-flash、gemini-2.5-pro

自动检测

如果您直接填写 API URL 而未手动选择提供商，MPE 会根据 URL 自动检测对应的提供商类型（如 URL 包含 anthropic.com 则自动识别为 Anthropic）。

3. 填写 API 配置 ​

API URL ​

  • 选择提供商后会自动填充基础地址
  • 自定义提供商需填写完整的 OpenAI 兼容端点地址
  • 示例：https://api.deepseek.com、https://dashscope.aliyuncs.com/compatible-mode

API Key ​

  • 你的 API 密钥
  • API Key 使用 AES-GCM 加密 存储在浏览器 LocalStorage 中，非明文保存
  • 仍建议不要在公共设备上使用

模型名称 ​

  • 使用的模型名称
  • 成功率与生成质量取决于模型，您可以自行尝试并调整至最合适的模型

Temperature（可选） ​

  • 控制 AI 生成的随机性，范围 0-1，默认 0.7
  • 值越低生成越确定，值越高生成越多样
  • 对于 Pipeline 配置预测，建议保持默认值或适当降低

4. 启用 AI 代理（推荐） ​

推荐方案

AI 代理 是解决 CORS 跨域问题的推荐方案，无需安装浏览器扩展。

在 AI 配置区域开启 使用 LocalBridge 代理 选项（默认已开启）。

工作原理：

  • 开启后，AI 请求不再由浏览器直接发送，而是通过 LocalBridge 后端转发
  • LocalBridge 作为本地代理服务器，不受浏览器 CORS 策略限制
  • 支持普通请求和流式（SSE）请求
  • 若 LocalBridge 未连接，会自动回退为浏览器直接请求

优势：

  • 无需安装任何浏览器扩展
  • 无需选择支持 CORS 的 API 提供商
  • 所有主流 API 服务商均可正常使用
  • 支持流式响应，体验更流畅

5. 测试连接 ​

配置完成后，点击 测试 按钮验证 API 配置是否正确。测试成功后会显示 AI 的简短回复。

6. 注意事项 ​

未启用代理时的 CORS 问题

若您未启用 AI 代理（或未连接 LocalBridge），浏览器直接调用 API 可能遇到 CORS 跨域限制。此时可以：

  • 推荐：连接 LocalBridge 并开启 AI 代理
  • 使用支持 CORS 的 API 代理服务
  • 选择官方支持 CORS 的 API 提供商

使用方法 ​

1. 前置条件 ​

使用 AI 预测功能前，需要确保：

✅ 已连接到本地服务（LocalBridge）
✅ 已连接到设备（ADB 或 Win32 控制器）
✅ 已配置 OCR 功能（设置 MaaFramework 路径）
✅ 已配置 AI API（URL、Key、Model）

2. 触发预测 ​

  1. 在工作流面板中选中需要配置的节点
  2. 为节点命名，最好与行为有关（可以当做提示词使用，生成后再改回实际想保留的节点名）
  3. 在右侧字段面板的工具栏中，点击 机器人图标 🤖
  4. 等待 AI 分析完成（通常需要 3-10 秒，取决于您的 API 服务商）
  5. 预测结果会自动填充到节点配置中

3. 查看推理依据 ​

点击顶部工具栏的 AI 对话历史 按钮，可以查看：

  • AI 的完整推理过程
  • 为什么选择该识别类型
  • 为什么选择该动作类型
  • 具体的参数推断依据

4. 手动调整 ​

AI 预测结果仅供参考，建议根据实际情况进行调整节点字段

最佳实践 ​

1. 合理命名节点 ​

节点名称是 AI 推断的重要依据，建议使用清晰、准确的命名：

✅ 推荐：

  • 点击开始按钮
  • 识别主界面
  • 滑动到底部
  • 输入用户名

❌ 不推荐：

  • 节点1
  • 测试
  • aaa

2. 保持流程连贯 ​

AI 会参考前置节点的配置，因此：

  • 按顺序配置节点，让 AI 理解完整流程
  • 前置节点配置越完整，后续节点预测越准确

3. 确保 OCR 可用 ​

  • 设备画面清晰，避免模糊
  • OCR 模型配置正确
  • 测试 OCR 功能正常工作

4. 验证预测结果 ​

  • 不要盲目信任 AI 预测
  • 根据实际运行效果调整配置
  • 查看 AI 对话历史了解推理依据

5. 模板图片需手动处理 ​

AI 无法自动生成模板图片，对于 TemplateMatch 类型：

  • AI 会设置 template: [""] 占位
  • 需要手动截图并填入图片路径
  • 可使用截图工具辅助

常见问题 ​

Q1: AI 预测失败，提示 "请先连接到本地服务与设备" ​

原因：LocalBridge 未连接或设备未连接。

解决方案：

  1. 确保 LocalBridge 已启动并连接
  2. 在连接面板中连接到设备（ADB 或 Win32）
  3. 检查设备连接状态指示器

Q2: AI 预测失败，提示 "请先在配置面板中设置 AI API" ​

原因：AI API 配置不完整。

解决方案：

  1. 打开配置面板
  2. 填写完整的 API URL、API Key 和模型名称
  3. 点击测试按钮验证配置

Q3: AI 预测失败，提示 "OCR 识别失败" ​

原因：OCR 功能未正确配置或识别超时。

解决方案：

  1. 检查 MaaFramework 路径是否正确
  2. 确认 OCR 模型文件存在
  3. 测试单独的 OCR 识别功能
  4. 检查设备画面是否正常

Q4: AI 生成的配置不符合预期 ​

原因：AI 基于有限的上下文进行推断，可能存在偏差。

解决方案：

  1. 查看 AI 对话历史，了解推理依据
  2. 手动调整不准确的字段
  3. 优化节点名称，提供更明确的意图
  4. 确保前置节点配置准确

Q5: API 调用遇到 CORS 错误 ​

原因：浏览器跨域限制，未启用 AI 代理。

解决方案：

  1. 推荐：连接 LocalBridge 并在配置面板中开启「使用 LocalBridge 代理」
  2. 使用支持 CORS 的 API 代理服务
  3. 选择官方支持 CORS 的 API 提供商

Q6: 预测速度太慢 ​

原因：网络延迟或模型处理时间长。

优化方案：

  1. 选择国内访问友好的 API 服务（DeepSeek、通义千问）
  2. 使用更快的模型（如 gpt-4o-mini）
  3. 确保网络连接稳定

相关文档 ​